Năm 1960, Đảng Cộng sản Campuchia họp đại hội đảng lần đầu tiên tại Ga đường sắt Phnom Penh với sự tham dự của 21 đại biểu, Ieng Sary được xếp thứ năm. Ba năm sau, thì được lên hàng thứ ba.Cuối thập niên 1960, Ieng Sary cùng nhiều thành viên khác của Khmer Đỏ bắt đầu vào rừng tập hợp lực lượng tiến hành chiến tranh vũ tranh chống chính quyền thân Mỹ của Lon Nol

Khi Khmer Đỏ lên nắm chính quyền tại Campuchia. Ieng Sary với vai trò là Phó thủ tướng kiêm Bộ trưởng ngoại giao được xem là nhân vật quyền lực thứ ba của Khmer Đỏ chỉ sau Pol Pot và Nuon Chea.

Trong thời gian Khmer Đỏ còn cầm quyền, Ieng Sary dụ dỗ nhiều trí thức Campuchia đã bỏ chạy ra nước ngoài quay về rồi sát hại.